他炮制了一篇“钓鱼”研究,把无数人耍得团团转,包括你!
(在你问他是谁之前……)博安农是牛津大学的分子生物学博士,Science和Wired的撰稿人,也是个脑洞很大的奇葩。他的个人网站列出了他曾干过的一些大事 以“实验”和“结果”的形式。
所以,他这次又干了什么呢?
🔻 亲手打造“垃圾”研究:黑巧克力能减肥?
事情的起因是这样的。2014年,两位德国电视记者,彼得•翁嫩肯(Peter Onneken.)和黛安娜•勒布尔(Diana Löbl),想拍个关于减肥食品业界的纪录片。
翁嫩肯研读了欧洲的S3膳食指南,发现许多制定指南的专家受雇于减肥公司或食品公司,并在指南中推荐雇主的特定膳食。他们私下联系了其中的几位专家,有人承认某些研究做得不够好——这有点太轻描淡写了,翁嫩肯觉得有些研究简直就是垃圾。而这些垃圾研究被冠以科学之名,登上媒体头条,在全世界广为传播,然后一些奇怪的膳食就能大卖特卖……
于是,翁嫩肯就找到了博安农商量:单纯揭露批判,总觉得力度不够,不如我们按照这些套路,自己动手搞个垃圾膳食研究?
这种闷声发大招,搞个大新闻的事情,博安农最擅长了!
两人一拍即合。他们的“造假”步骤如下:
冈特•弗兰克(Gunter Frank) 医生是这次“研究”的主持者,他提出了一个新的“研究结论”——黑巧克力有助减肥。弗兰克说,人们对于难吃的东西有种朴素的信仰,总觉得好吃的就是垃圾食品,难吃的就是自然灵药……其实很多时候,苦味预示着有毒啊!演化给的自保本能,就这样轻易地丢掉真的好吗?
不管怎么说,“黑巧克力很苦很难吃,所以它肯定对健康有益”,嘛,就这么愉快地决定了!
对照组体重基本不变,两个试验组平均体重都轻了5磅(2千克左右),经统计检验,差别显著。而且黑巧克力组的减肥速度还快了10%,此外,黑巧克力组的健康自评分数更高。
总之,论文搞定。
他还找音乐人拍了两条MV,一个男声说唱版,一个女声民谣版,主题都是《巧克力变身》(The Chocolate Transformation)——还记得吗,这家伙是“跳出你的PhD”舞蹈大赛的组织者。
🔻 万事俱备,只欠鱼群
没多久,印度、爱尔兰、美国、澳大利亚的多家媒体都报道了这一“发现”,其中不乏赫芬顿邮报这样的大媒体
写稿的记者,大部分压根就没联系博安农这个“论文作者”。有些联系了,但问的也只是“你对我们的读者有何建议”之类。没人质疑样本数,没人去找其他科学家来评论这个研究。最令博安农痛心的是,没有篇报道了他精心拍摄的那两条音乐录影带!
(嘛……毕竟其他人都是正常人……)
🔻 坏科学的危害,在于用真实数据说谎
博安农骗过期刊又骗过媒体的第一个秘密是统计分析。
宏观经济学里有个古德哈特定律(Goodhart's law),一项指标一旦成为政策制定的依据,便会立刻丧失其原有的信息价值。统计学的p值也是如此,这原本是一个用来衡量“某命题是否很可能为真”的指标,但随着p值成为发表论文的“快捷通道”,很多人便开始改动实验设计、删改实验数据、重复多次实验——只为一个小于0.05的p值。
当博安农自己揭露这个骗局时,他又写出了两条肮脏的科学小秘密。
我们给15个人测了18项指标——体重、胆固醇水平、钠、血中的蛋白水平、睡眠质量、总体健康状况等等。这样的研究设计,就是得到假阳性结果的秘诀。”
“我们其实不知道会出现怎样的结果——完全可能是巧克力改进睡眠、巧克力降低血压——但我们知道,我们有很大机会(>60%)至少拿到一个‘统计上显著’(也就是p<0.05)的结果。”
哥伦比亚大学的统计学教授安德鲁•杰尔曼(Andrew Gelman)认为,博安农还估低了,因为他只把测量18项指标当成18个单独的测试来算。事实上,任何两项指标都可以被拿出来比较,还可以单看某个分组的各项指标,考察指标之间的相互作用……这样的多重比较,让拿到‘统计上显著’的几率远不止60%。
世上无难事,只怕统计学……图片来源:xkcd
博安农自己写道,“我们的研究注定不靠谱,原因就在于样本数量太少,这就放大了不可控因素的影响。举个例子,女性在月经周期中体重波动就可以高达两千克,这就已经远超过我们那两个试验组之间的体重差异了。正是因此,才需要很多人的大样本,还要平衡好不同组里的年龄和性别组成(我们当然没理这事)。”
忽然想起了塞拉利尼的“转基因玉米致癌”论文:同样发表在名声一般的开放获取期刊(OA)上,同样是样本量小而分组多——能不能少一点统计套路,多一份科研真诚?
顺便说一句,在博安农的“自杀式袭击”公开后,登他论文的那家活该倒霉的期刊出版方憋出一则声明,说其实博安农的文章他们是拒了的,只是不知为何,这篇文章意外出现在了他们期刊的网站上,同样不知为何,这篇文章一直保留了好几天,对此他们深表歉意,其实他们是一家有理想有伦理透明公开的严肃期刊……
博安农对此的回应是:“啊如果真的撤稿了我一定要把600欧元的版面费要回来!”
🔻 钓鱼是为了说明:没有传播,就没有伤害
钓鱼当然不是好事。这场钓鱼实验的发起人翁嫩肯也承认这一点,同时他也声明,他们尽了最大可能让上当的人不受伤害。“吃黑巧克力,一般不会造成什么大问题”,而参与实验的那16个人都经过血检加问卷,确定没有人有糖尿病、饮食紊乱等问题。
他做这一切,只为了告诉全世界的媒体——这样的研究根本就不该出现在媒体上!没有传播,就没有伤害!
“如果科学家做了个屎一样的研究,但没人听说,那就没人受害。英国小报说火星上有恐龙,那无所谓。但有些人真的需要减肥,需要饮食干预,而很多被报道出来的研究对他们毫无帮助。”
而博安农想告诉全世界媒体的是——
如果你想报道科学,你必须学会如何读论文,必须愿意花时间脑力去真的读论文,必须秉持着追求真实之心,近乎苛刻地审视每个结论是否真能成立。
“假如一个膳食研究不提样本数多大,或者说了个惊人的结论,然后只说差异在‘统计上显著’,却不跟你说差异到底多大,你就该开始思考这是为什么。”
“但大多数时候,我们记者没有去追问。这很令人遗憾,因为如今的记者已成了现实生活中的同行评议系统。当我们未能尽忠职守,世界就会被坏科学淹没。”
(编辑:Stellasun)
博安农的另一项研究:谁,在下载盗版文献?每个人
减肥路上屡次灰心?
认真做出的研究屡遭拒稿?
被AI打击到消沉抑郁自暴自弃?
和本文作者、果壳主笔游识猷聊聊吧:
长按识别二维码